Deep Q-Learning এবং Policy Gradient Techniques

Deep Q-Learning এবং Policy Gradient হল Reinforcement Learning (RL) এর দুটি প্রধান কৌশল যা মেশিন লার্নিং এ ব্যবহৃত হয়। এই দুটি কৌশল মূলত Agent কে Environment এর সাথে যোগাযোগ করতে এবং সেরা Action গ্রহণ করতে শেখায়, যাতে সর্বাধিক Reward পাওয়া যায়। চলুন, প্রতিটি কৌশলের বিস্তারিত আলোচনা করা যাক।

১. Deep Q-Learning

Deep Q-Learning (DQN) হল একটি model-free reinforcement learning algorithm যা Q-learning এর ওপর ভিত্তি করে কাজ করে। Q-learning একটি value-based পদ্ধতি, যেখানে একটি Q-function ব্যবহার করা হয়, যা প্রত্যেকটি state-action জোড়ার জন্য একটি ভ্যালু (reward) প্রদান করে। এই ভ্যালু পরে Agent কে নির্দেশ দেয় কোন action নেয়া উচিত।

১.১ Q-Learning এর মূল ধারণা

Q-Learning মূলত Bellman Equation ব্যবহার করে সেরা policy বের করার চেষ্টা করে, যা একটি state এবং action এর জন্য সর্বাধিক পুরস্কৃত (reward) আউটপুট দেয়। এর মূল ধারণা হল: $Q(s, a) = R(s, a) + \gamma \max_{a'} Q(s', a')$

এখানে:

• s: বর্তমান state
• a: বর্তমান action
• R(s, a): action a নেয়ার পর প্রাপ্ত reward
• γ: discount factor (ভবিষ্যতের rewards এর গুরুত্ব)
• max_{a'} Q(s', a'): পরবর্তী state এর জন্য সেরা action এর Q-value

১.২ Deep Q-Learning (DQN)

Deep Q-Learning হল Q-learning এর একটি উন্নত সংস্করণ যেখানে Q-function বা Q-table এর পরিবর্তে একটি Deep Neural Network (DNN) ব্যবহার করা হয় যা state-action pair এর জন্য Q-values অনুমান করে। এটি উচ্চ মাত্রার ডেটা যেমন ইমেজ (রাস্তায় গাড়ি চালানো বা ভিডিও গেম খেলা) থেকে Q-values বের করতে সক্ষম।

DQN মডেলটিতে সাধারণত Q-network নামক একটি নিউরাল নেটওয়ার্ক ব্যবহার করা হয় যা training এর সময় ইনপুট হিসেবে state নেয় এবং আউটপুট হিসেবে সম্ভাব্য action এর জন্য Q-value প্রদান করে।

১.৩ DQN এর মূল উপাদানসমূহ

1. Experience Replay: DQN মডেল একটি Replay Buffer ব্যবহার করে যেখানে পুরনো state-action-reward-next state ট্রিপলগুলো সংরক্ষিত থাকে এবং প্রতি ব্যাচে সেগুলো থেকে minibatch স্যাম্পল করে প্রশিক্ষণ দেওয়া হয়। এতে করে correlated updates কমানো যায় এবং প্রশিক্ষণের স্থিতিশীলতা বৃদ্ধি পায়।
2. Fixed Target Network: DQN এ একটি target network থাকে যা Q-network এর একটি কপি হয় এবং এটি প্রতি কিছু সময় পর আপডেট হয়। এটি unstable Q-learning এর সমস্যা কমাতে সাহায্য করে।

১.৪ DQN উদাহরণ

import numpy as np
import tensorflow as tf
from tensorflow.keras import layers

# Simple DQN Network Architecture
def build_model(state_size, action_size):
    model = tf.keras.Sequential()
    model.add(layers.Dense(24, input_dim=state_size, activation='relu'))
    model.add(layers.Dense(24, activation='relu'))
    model.add(layers.Dense(action_size, activation='linear'))
    return model

# Q-value Calculation for Action
def get_q_values(model, state):
    return model(state)

এই কোডে একটি Dense Neural Network তৈরি করা হয়েছে যা ইনপুট হিসেবে স্টেট নেয় এবং আউটপুট হিসেবে সম্ভাব্য অ্যাকশনগুলোর জন্য Q-values প্রদান করে।

২. Policy Gradient Techniques

Policy Gradient হল policy-based reinforcement learning এর একটি পদ্ধতি, যেখানে Agent সরাসরি policy শিখে, অর্থাৎ কোন state তে কোন action নেয়া উচিত তা শিখে। এটি value-based methods (যেমন Q-learning) থেকে আলাদা, কারণ এটি সরাসরি state-action policy শিখতে সক্ষম হয়।

২.১ Policy Gradient এর মূল ধারণা

Policy Gradient পদ্ধতিতে, Agent এর goal হল policy (π) শেখা, যা প্রতি state এর জন্য সম্ভাব্য actions এর probability distribution প্রদান করে। এখানে মূল ধারণা হলো: $\pi(a|s) = P(a|s; \theta)$ এখানে:

• π(a|s): state s তে action a এর গ্রহণযোগ্যতা (probability)
• θ: পলিসির প্যারামিটার

Policy Gradient পদ্ধতির মূলে থাকে reinforcement signal (যেমন reward) দ্বারা পলিসি আপডেট করা। এ জন্য gradient ascent ব্যবহার করা হয়, যেখানে objective function হল: $J(\theta) = \mathbb{E} \left[ \sum_{t=0}^T R_t \cdot \log \pi(a_t|s_t; \theta) \right]$

২.২ Policy Gradient Algorithm

1. State-Action Pair: আপনি যখন একটি action নেন, তখন এর জন্য একটি reward পাওয়া যায়। এটি একটি state-action pair হয়ে দাঁড়ায়, যা পরে policy শিখতে ব্যবহৃত হয়।
2. Objective Function: প্রাপ্ত reward এর ওপর ভিত্তি করে policy আপডেট করা হয়, যাতে ভবিষ্যতে আরও ভাল reward পাওয়া যায়।

২.৩ REINFORCE Algorithm (Monte Carlo Policy Gradient)

REINFORCE হল একটি জনপ্রিয় Policy Gradient পদ্ধতি যা Monte Carlo methods ব্যবহার করে। এটি পুরো trajectory বা episode শেষে discounted rewards ব্যবহার করে পলিসি আপডেট করে।

২.৪ REINFORCE উদাহরণ

import numpy as np
import tensorflow as tf

def build_policy_network(state_size, action_size):
    model = tf.keras.Sequential()
    model.add(tf.keras.layers.Dense(24, input_dim=state_size, activation='relu'))
    model.add(tf.keras.layers.Dense(action_size, activation='softmax'))
    return model

def policy_gradient_loss(y_true, y_pred):
    return -tf.reduce_mean(tf.math.log(y_pred) * y_true)

# Policy Gradient training loop
def train_policy_gradient(model, states, actions, rewards):
    # Normalize rewards
    rewards = (rewards - np.mean(rewards)) / np.std(rewards)
    with tf.GradientTape() as tape:
        y_pred = model(states)
        loss = policy_gradient_loss(actions, y_pred)
    grads = tape.gradient(loss, model.trainable_variables)
    optimizer.apply_gradients(zip(grads, model.trainable_variables))

এখানে:

• Policy Network একটি নিউরাল নেটওয়ার্ক যা softmax activation ব্যবহার করে action probabilities তৈরি করে।
• Loss Function: reward এর সাথে log প্রোডাক্ট ক্যালকুলেট করা হয় যা policy gradient এর ভিত্তি।

সারাংশ

• Deep Q-Learning (DQN) হল একটি value-based পদ্ধতি, যেখানে Q-values ব্যবহার করে state-action সম্পর্ক শিখে। এটি একটি model-free RL পদ্ধতি এবং সাধারণত Experience Replay ও Fixed Target Network ব্যবহার করে।
• Policy Gradient Techniques হল policy-based পদ্ধতি, যেখানে Agent সরাসরি policy শিখে, অর্থাৎ কোন state তে কোন action নেয়া উচিত তা শিখে। এটি stochastic policy শিখতে সক্ষম এবং REINFORCE বা অন্যান্য পদ্ধতি ব্যবহার করে মডেলটি উন্নত করা হয়।

এই দুটি পদ্ধতি একে অপর থেকে আলাদা, তবে একে অপরের সাথে কাজ করতে পারে এবং বাস্তব জীবনের RL সমস্যাগুলিতে সঠিক সমাধান দিতে পারে।